查看原文
其他

李开复元宵献唱、大神们《蚂蚁呀嘿》,揭秘幕后AI

量子位 创新工场 2022-10-07

当互联网大佬们集体唱歌,会擦出怎样的火花?

现在,火爆B站、抖音的AI特效,一键就可以实现梦幻联动。

瞧!马化腾、巴菲特、马斯克等大佬们,正在集体演唱神曲《蚂蚁呀嘿》

不光演唱,表情也是十分的卖力(傲娇的小眼神很是传神啊)

完全看不出是被迫的样子呢。(手动狗头)

效果之魔性,引得网友直呼:

短短的几秒,要用一生去治愈…..

还有网友表示,最近是咋滴啦?!一打开抖音,好像捅了蚂蚁窝

温馨提示:听音乐读本文,效果更佳哦!



大家一起《蚂蚁呀嘿》!

这款AI特效,只需要一张照片,就可以火速让anyone“蚂蚁呀嘿”。

正因为这么便捷,果不其然,马上成为了抖音网友们的“新宠”

各路名人开始搞起!

首先登场的是四大天王:刘德华、张学友、郭富城和黎明!

或许天王们太久没有同框过了,网友们用这种方式将他们“召集”在一起,也是别有一番风味。

“永不过时”的《还珠格格》,也赶上了这趟潮流列车。

王者峡谷里的英雄们,网友们也是没有放过。

不得不感慨二次元的颜值,不论怎么恶搞、变形,还是能保持俊美的样子(程咬金除外)

除了上面这种九宫格模式外,高端的操作还可以实现集体同框

于是,“爱玩”的德云社就以这种方式亮相了。

不知道是不是因为特效太过逼真、还是脖子有点短(不是),竟然还有人以为是真的。

第一眼我以为是特效。

当然,此等名场面,怎么少得了量子位本位!集体《蚂蚁呀嘿》表演,隆重登场!

OK,各种效果、各种玩法已经展示完毕。

接下来,是时候上手实操了!

如何制作专属的“蚂蚁呀嘿”?

首先需要准备三个工具:

Avatarify、任意一款加速器APP、剪映(可有可无)

第一步,打开加速器,启动加速模式。

第二步,打开这款软件Avatarify,选择一张照片即可进入选择特效页面(脸正一点食用效果更佳)

然后向下拉,找到布拉德·皮特的特效即可。

是不是很简单?

不过有点遗憾的是,暂时只有苹果手机才OK(安卓用户泪目)

一个人演唱“蚂蚁呀嘿”的效果就已经实现了。

如果想要多人演唱、九宫格那样式儿的,那就需要剪映来加持了,这里就不详细展开了。

当然,这款软件除了《蚂蚁呀嘿》之外,还有很多模板可选。

例如,李开复老师便友情上演了一首《Only You》。

随着这波潮流,Avatarify及其他相关软件,已经超过微信、拼多多、抖音的下载量,登顶苹果App Store免费榜“前三甲”

什么原理?

那么问题来了。

AI,是如何搞定各位大佬来唱歌的呢?

让一张照片动起来,人脸跟着音乐一起挤眉弄眼,需要一个叫做一阶运动模型 (First Order Motion Model)来搞定。

技术原理借鉴了去年意大利特伦托大学的一项研究,入选了NIPS 2019。

当时的例子是这样的。

以川建国同志为参考,来自《冰与火之歌》的演员照片瞬间做到了神同步

不光是脸动,一个模特换pose、奔腾的马也都不在话下。

模型框架主要由2部分构成,运动估计模块图像生成模块

运动估计模块的目的,是预测一个密集的运动场。研究人员假设存在一个抽象的参考框架,并且独立估计两个变换,分别是「从参考到源」和「从参考到驱动」,这样就能够独立处理源帧和驱动帧。

而这两种变换,通过使用以自监督方式学习的关键点来获得。利用局部仿射变换对每个关键点附近的运动进行建模。


随后,密集运动网络结合局部近似得到密集运动场。

这个网络还能输出遮挡的mask,指示哪些图像的驱动部分可以通过源图像的扭曲(warping)来重建,哪些部分应该被绘制(根据上下文推断)。

在生成模块按照驱动视频中,提供的源对象移动的图像进行渲染。

此处,研究人员还使用一个生成器网络,根据密集的运动对源图像进行扭曲,并对源图像中被遮挡的图像部分进行着色。

训练阶段,研究人员采用了大量的视频序列集合来训练模型,这当中包含了相同类别的对象。

随后在测试阶段,研究人员将模型应用于由源图像和驱动视频的每一帧组成的对,并执行源对象的图像动画。

最终在质量评估中,这一方法在所有基准上都明显优于当前先进技术。

此前类似研究也很火爆

这种AI特效能够如此火爆,甚至“破圈”,让大家玩得不亦乐乎,最主要的原因是方便——不需要任何编程知识,便可完成。

但在此之前,其实这种AI特效在圈里也是有火过,但都需要一定的计算机能力才可以实现。

比如,一张名人照片和一个你说话的视频,就可以让梦露学你说话。

还有,印度程序员开发的实时动画特效。你一动,蒙娜丽莎跟着你一起动~

那么现在,你被“蚂蚁呀嘿”洗脑了吗?

快去体验下吧。

参考链接:

[1] https://avatarify.ai/
[2] https://github.com/AliaksandrSiarohin/first-order-model

本文转自量子位(ID:QbitAl)

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存